In deze functie heeft hij te maken gehad met de Fransen die in 1794 naar onze streken kwamen. In 1810 kwamen nieuwe ontwikkelingen op politiek en kerkelijk gebied. Onder andere werd het huidige Noord-Brabant geheel ingelijfd bij het Franse keizerrijk. Van Alphen verwachtte hierop een aantal anti-katholieke maatregelen die door de overheid zouden worden voorgeschreven. Hij kreeg daarin gelijk. Voortaan moest er in de kerk ten behoeve van Napoleon gezongen worden het 'Domine salvum fac imperatorem nostrum'. Van Alphen weigerde. Het was rede voor de Fransen om hem op 14 april van dat jaar te arresteren.

Over de gevolgen van deze arrestatie schreef kapelaan Moors van de Sint-Catharina een dagboek. Ook hij was gearresteerd omdat hij niet voor de keizer wilde zingen; ook al zeiden de Fransen dat men wel most bidden voor zijne vijanden. Van Alphen en Moors vertrokken in een rijtuig, begeleid door een gendarme naar Parijs. In deze hoofdstad van het Franse keizerrijk werden zij verhoord door de Minister van Oorlog en de Minister van Politie. Het resultaat was dat beiden opgesloten werden in de gevangenis van Vincennes. Op 20 december 1810 werd Van Alphen vrij gelaten; twaalf dagen later was ook Moors een vrij man.

Tijdens de afwezigheid van Van Alphen uit 's-Hertogenbosch had Napoleon intussen beloofd aan de Bossche katholieken de Sint-Jan terug te geven; en bovendien zouden zij een echte bisschop krijgen. Maar een bisschop benoemd door de keizer en niet door de paus: die wilde men niet! Napoleon trachtte Van Alphen te bewegen zijn functie van apostolisch vicarus neer te leggen; maar deze weigerde. Het gevolg was dat Van Alphen voor de tweede maal in arrest werd genomen.

Van 9 maart 1811 tot 11 april 1814 zuchtte Van Alphen opnieuw in de kerkers in het kasteel Vincennes. Pas toen kon hij terugkeren naar zijn bisdom. Op 24 april 1814 haalt zijn parochie in Schijndel hem feestelijk in. Hij blijft in functie als apostolisch vicarus tot aan zijn dood in 1831. Na hem zouden Henricus den Dubbelden en Joannes Zwijssen in deze functie benoemd worden; in 1883 werd Zwijsen de nieuwe bisschop van het herstelde bisdom 's-Hertogenbosch.

Van Alphen is in het bisdom vooral bekend geworden, omdat hij in 1798 een groot-seminarie heeft opgericht, hetgeen noodzakelijk was aangezien de Leuvense Universiteit was opgeheven. Na zijn terugkeer uit zijn gevangenschap stichtte hij in 1815 een klein-seminarie (Beekvliet). Van 1825 tot 1829 was dit seminarie gesloten in verband met de opening van het Collegium Philosophicum te Leuven.

De verhouding tussen de katholieke geestelijkheid en koning Willem I was niet al te best. Tal van maatregelen zijn door de koning uitgevaardigd om verspreiding van het katholieke geloof tegen te gaan. Er waren dwangmaatregelen tegen de seminaries; nieuwe kloosters mochten niet worden opgericht. Toen er in 1827 tenslotte een Concordaat gesloten werd, heeft Van Alphen de koning geprezen voor zijn veranderde instelling en is hem persoonlijk gaan bedanken.

Bijna vijftig jaar kent de wijk De Muntel een aan deze apostolische vicaris genoemde straat; de Anthonius van Alphenstraat.